import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 40.911135 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 1.673019 | Acórdão | 100 |
| 1 | 4.296447 | Agente | 100 |
| 2 | 0.750986 | Arma | 100 |
| 3 | 0.665910 | Arquivo | 100 |
| 4 | 1.213905 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.492227 | Unidade Federativa | Estado | 100 |
| 137 | 0.492617 | Unidade Fiscal | 32 |
| 138 | 4.169539 | Usuário | 100 |
| 139 | 3.436591 | Órgão | 100 |
| 140 | 3.384407 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 72 | 256.738369 | Medicamento | -1 | Sim |
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 17 | 0.364208 | Conceito | 0 | Não |
| 37 | 0.326150 | Empresa | Organização | Pessoa Jurídica RFB | 0 | Não |
| 47 | 0.315258 | Endereço RFB | 0 | Não |
| 52 | 0.382258 | Estabelecimento RFB | 0 | Não |
| 55 | 0.358360 | Excluso / Removido do SIMPLES | 0 | Não |
| 77 | 0.366047 | Não optante pelo SIMPLES | 0 | Não |
| 80 | 0.350824 | Optante pelo SIMPLES | 0 | Não |
| 81 | 0.353498 | Opção pelo regime SIMPLES | 0 | Não |
| 88 | 0.373809 | Pessoa Física RFB | 0 | Não |
| 107 | 0.334342 | Situação Cadastral RFB | 0 | Não |
| 109 | 0.327022 | Situação especial | 0 | Não |
| 113 | 0.349432 | Sociedade RFB | 0 | Não |
| 126 | 0.338640 | Sócio RFB | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 123.000000 | 123.000000 |
| mean | 1.752398 | 91.682927 |
| std | 1.963878 | 24.442075 |
| min | 0.463046 | 6.000000 |
| 25% | 0.604835 | 100.000000 |
| 50% | 1.090182 | 100.000000 |
| 75% | 2.025481 | 100.000000 |
| max | 14.958059 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 91 | 220.740599 | Produto | 100 | Não |
| 20 | 119.197955 | Contribuinte | 100 | Não |
| 69 | 57.556321 | Item | 100 | Não |
| 21 | 29.360339 | Contribuinte Contribuinte SIMEI | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.661320 | Acórdão | 5 |
| 1 | 0.664505 | Agente | 10 |
| 2 | 5.136007 | Arma | 8 |
| 3 | 2.044846 | Arquivo | 12 |
| 4 | 0.488013 | Ativa | 9 |
| ... | ... | ... | ... |
| 122 | 0.395540 | Unidade Federativa | Estado | 5 |
| 123 | 0.440705 | Unidade Fiscal | 4 |
| 124 | 5.115432 | Usuário | 4 |
| 125 | 0.412340 | Órgão | 9 |
| 126 | 2.285344 | Evento | 51 |
127 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 112.000000 | 112.000000 |
| mean | 0.994150 | 9.776786 |
| std | 0.993685 | 10.653181 |
| min | 0.069079 | 2.000000 |
| 25% | 0.429851 | 6.000000 |
| 50% | 0.576836 | 8.000000 |
| 75% | 1.091928 | 11.000000 |
| max | 4.806652 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 15.000000 | 15.000000 |
| mean | 16.959020 | 15.333333 |
| std | 25.223187 | 11.412191 |
| min | 5.043708 | 4.000000 |
| 25% | 5.817914 | 7.000000 |
| 50% | 10.376016 | 16.000000 |
| 75% | 15.273895 | 16.000000 |
| max | 105.389163 | 41.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 64 | 105.389163 | Item | 7 |
| 17 | 24.541937 | Consumidor | 11 |
| 81 | 20.999409 | Produto | 7 |
| 42 | 17.711586 | Endereço Cadastro da SEFAZ | 18 |
| 47 | 12.836205 | Estabelecimento | 41 |
| 15 | 11.726785 | Combustível | 7 |
| 49 | 10.703546 | Estabelecimento SEFAZ | 41 |
| 70 | 10.376016 | Não Contribuinte | 6 |
| 18 | 6.822016 | Contador | 16 |
| 77 | 6.347657 | Pessoa Física Cadastro SEFAZ | 16 |
| 78 | 6.108235 | Pessoa Física REDESIM | 16 |
| 89 | 5.527592 | Representante Legal Físico | 16 |
| 2 | 5.136007 | Arma | 8 |
| 124 | 5.115432 | Usuário | 4 |
| 88 | 5.043708 | Representante Legal | 16 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.177410 | Acórdão | 1 |
| 1 | 0.100529 | Agente | 1 |
| 2 | 2.049260 | Arma | 1 |
| 3 | 0.403295 | Arquivo | 1 |
| 4 | 0.143807 | Ativa | 1 |
| ... | ... | ... | ... |
| 122 | 0.088012 | Unidade Federativa | Estado | 1 |
| 123 | 0.091512 | Unidade Fiscal | 1 |
| 124 | 1.191634 | Usuário | 1 |
| 125 | 0.090282 | Órgão | 1 |
| 126 | 0.322604 | Evento | 1 |
127 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 125.000000 | 125.000000 |
| mean | 0.272425 | 1.048000 |
| std | 0.383067 | 0.214626 |
| min | 0.066002 | 1.000000 |
| 25% | 0.101514 | 1.000000 |
| 50% | 0.145743 | 1.000000 |
| 75% | 0.248983 | 1.000000 |
| max | 2.728415 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 2.000000 | 2.0 |
| mean | 16.193172 | 1.0 |
| std | 4.169461 | 0.0 |
| min | 13.244918 | 1.0 |
| 25% | 14.719045 | 1.0 |
| 50% | 16.193172 | 1.0 |
| 75% | 17.667299 | 1.0 |
| max | 19.141426 | 1.0 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 15 | 19.141426 | Combustível | 1 |
| 64 | 13.244918 | Item | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.077858 | Acórdão | data final | 0 |
| 1 | 0.138545 | Agente | name | 100 |
| 2 | 0.076056 | Agente | nome | 100 |
| 3 | 0.682646 | Agente | tem solicitação | 0 |
| 4 | 0.357209 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.068537 | Órgão | 0 | |
| 891 | 0.070092 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 0.714510 | Evento | tem solicitação | 100 |
| 893 | 0.406850 | Evento | código do evento | 88 |
| 894 | 0.348599 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.077858 | Acórdão | data final | 0 |
| 3 | 0.682646 | Agente | tem solicitação | 0 |
| 6 | 0.072224 | Agente | cpf ou cnpj | 0 |
| 7 | 0.068728 | Agente | identificador de uma pessoa | 0 |
| 8 | 0.067757 | Agente | É um estrangeiro? | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.074097 | Órgão | tem matriz | 0 |
| 888 | 0.073995 | Órgão | cnpj raíz | 0 |
| 889 | 0.070572 | Órgão | razão social | 0 |
| 890 | 0.068537 | Órgão | 0 | |
| 891 | 0.070092 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
377 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro |
|---|
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.077858 | Acórdão | data final | 0 | Não |
| 3 | 0.682646 | Agente | tem solicitação | 0 | Não |
| 6 | 0.072224 | Agente | cpf ou cnpj | 0 | Não |
| 7 | 0.068728 | Agente | identificador de uma pessoa | 0 | Não |
| 8 | 0.067757 | Agente | É um estrangeiro? | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.074097 | Órgão | tem matriz | 0 | Não |
| 888 | 0.073995 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.070572 | Órgão | razão social | 0 | Não |
| 890 | 0.068537 | Órgão | 0 | Não | |
| 891 | 0.070092 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
377 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 877.000000 | 877.000000 |
| mean | 0.295704 | 54.638540 |
| std | 0.486360 | 49.512284 |
| min | 0.056187 | 0.000000 |
| 25% | 0.073324 | 0.000000 |
| 50% | 0.109264 | 100.000000 |
| 75% | 0.252599 | 100.000000 |
| max | 4.620294 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 18.000000 | 18.000000 |
| mean | 13.775204 | 88.944444 |
| std | 20.472476 | 32.176850 |
| min | 5.413025 | 0.000000 |
| 25% | 7.230384 | 100.000000 |
| 50% | 8.441561 | 100.000000 |
| 75% | 10.700350 | 100.000000 |
| max | 94.564165 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 628 | 94.564165 | Produto | descrição | 100 | Não |
| 730 | 21.008773 | Sociedade | qualificação do responsável | 100 | Não |
| 708 | 11.810872 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 363 | 11.519621 | Estabelecimento | foi desabilitado | 100 | Não |
| 830 | 10.936230 | Sócio | qualificação do sócio | 100 | Não |
| 35 | 9.992711 | Ativa | tem razão de situação cadastral | 1 | Não |
| 38 | 9.004409 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 96 | 8.853741 | Combustível | percentual de glp | 100 | Não |
| 94 | 8.798054 | Combustível | percentual de gás importado | 100 | Não |
| 98 | 8.085068 | Combustível | valor de partida | 100 | Não |
| 95 | 7.998370 | Combustível | percentual de gás natural | 100 | Não |
| 93 | 7.607416 | Combustível | descrição anp | 100 | Não |
| 216 | 7.325739 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 725 | 7.198599 | Situação Fiscal | situação fiscal | 100 | Não |
| 712 | 6.385461 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 488 | 5.912423 | Inadimplente | tem inadimplencia | 100 | Não |
| 57 | 5.538989 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 198 | 5.413025 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.711049 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 0.642975 | Agente | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Socio/00135032350 | 2 |
| 2 | 0.559308 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 1.215682 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.694567 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 122 | 0.550013 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 123 | 0.613482 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 124 | 0.545482 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 125 | 0.937438 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 126 | 1.132802 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
127 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.559308 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.694567 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 0.700218 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.736110 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.563962 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 0.606123 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-24658047000105-2016_04_26 | 0 |
| 11 | 0.545254 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/1.1 | 0 |
| 12 | 0.558990 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 17 | 0.600757 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/101233000180 | 0 |
| 30 | 0.598656 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 32 | 0.602606 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/70927600382 | 0 |
| 46 | 0.734545 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 63 | 0.588310 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 67 | 0.652164 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 68 | 0.568560 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 70 | 0.595103 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/29173 | 0 |
| 71 | 0.607272 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 74 | 0.570025 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 75 | 0.537298 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 79 | 0.991680 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 81 | 0.655472 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/271188119 | 0 |
| 82 | 0.568100 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 84 | 0.684650 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 85 | 2.178417 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 93 | 0.838129 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 94 | 0.574777 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/EXTINTA-10651658000117-2009_02_19 | 0 |
| 95 | 1.217369 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 96 | 0.616860 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-39751265000167-2020_11_11 | 0 |
| 97 | 0.609481 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12428609-DESABILITADO | 0 |
| 105 | 0.585550 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 109 | 0.745505 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 113 | 0.611505 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 114 | 0.600221 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 115 | 0.558227 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 116 | 0.549890 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 117 | 0.546889 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 122 | 0.550013 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 123 | 0.613482 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 124 | 0.545482 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 71.000000 | 71.000000 |
| mean | 1.588667 | 8.014085 |
| std | 1.639842 | 15.430483 |
| min | 0.071628 | 1.000000 |
| 25% | 0.657869 | 1.000000 |
| 50% | 0.769906 | 2.000000 |
| 75% | 1.966378 | 6.000000 |
| max | 6.772321 | 75.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 17.000000 | 17.000000 |
| mean | 60.354168 | 146.411765 |
| std | 61.850036 | 521.383743 |
| min | 10.666241 | 1.000000 |
| 25% | 23.546240 | 3.000000 |
| 50% | 36.626485 | 6.000000 |
| 75% | 88.620007 | 10.000000 |
| max | 255.518555 | 2165.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 33 | 255.518555 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/106775000146 | 6 | Não |
| 57 | 138.195708 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/106775000146 | 6 | Não |
| 36 | 97.890848 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 118 | 95.293712 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 13 | 88.620007 | Cidade | Município | http://www.sefaz.ma.gov.br/resource/DOMINIO/Cidade/ABADIANIA-GO | 10 | Não |
| 6 | 49.507504 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/14_DE_NOVEMBRO-CASCAVEL | 55 | Não |
| 90 | 47.484708 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1017201000164 | 6 | Não |
| 47 | 40.659128 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12729939 | 108 | Não |
| 64 | 36.626485 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/10000513513100005119 | 3 | Não |
| 49 | 34.234873 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12729939 | 108 | Não |
| 58 | 33.486022 | Grupo CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_GRUPO-ADMINISTRACAO_DO_ESTADO_E_DA_POLITICA_ECONOMICA_E_SOCIAL | 4 | Não |
| 83 | 27.703418 | Provedor | http://www.sefaz.ma.gov.br/resource/C115/Provedor/1009876001729 | 1 | Não |
| 16 | 23.546240 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 15 | 22.539792 | Combustível | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Combustivel/18816910 | 1 | Não |
| 66 | 12.100038 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-SE | 3 | Não |
| 61 | 11.947584 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 107 | 10.666241 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 2165 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 1.058086 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 0.682787 | Agente | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Socio/00135032350 | 0 |
| 2 | 0.779958 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.678264 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.129469 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 122 | 0.690192 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 123 | 0.663362 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 124 | 0.655222 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 125 | 0.927456 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 126 | 3.732271 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
127 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 1.058086 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 0.682787 | Agente | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Socio/00135032350 | 0 |
| 2 | 0.779958 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.678264 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.129469 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 117 | 0.681320 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 122 | 0.690192 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 123 | 0.663362 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 124 | 0.655222 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 125 | 0.927456 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
79 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 45.000000 | 45.000000 |
| mean | 2.432703 | 14.022222 |
| std | 1.653974 | 33.457904 |
| min | 0.203393 | 1.000000 |
| 25% | 1.349300 | 2.000000 |
| 50% | 1.952735 | 4.000000 |
| 75% | 3.134599 | 10.000000 |
| max | 7.274299 | 212.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 3.000000 | 3.000000 |
| mean | 82.299594 | 54.333333 |
| std | 120.405591 | 39.259818 |
| min | 10.662872 | 9.000000 |
| 25% | 12.794286 | 43.000000 |
| 50% | 14.925700 | 77.000000 |
| 75% | 118.117955 | 77.000000 |
| max | 221.310210 | 77.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 36 | 221.310210 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 9 | Não |
| 47 | 14.925700 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12729939 | 77 | Não |
| 49 | 10.662872 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12729939 | 77 | Não |